Accidentalidad en medellín periodo de 2014 a 2020 y predicción de accidentalidad para los años 2021 y 2022.

Para la integración de los datos usamos lo datos contenidos en la pagina web Geo medellín, de nuestra base de datos usamos la variable CBML y con los primeros 4 dígitos poder obtener los datos faltantes de barrio y comuna cruzando los datos entre nuestra base y la de geo Medellín.

Luego de hacer la revisión de las variables y eliminar los datos irrecuperables, procedemos a eliminar las variables temporales que creamos y otras variables presentes en la base de datos las cuales consideramos que no son necesarias para realizar el proyecto.

Para las fechas especiales se crean dos nuevas variables; FESTIVIDAD y TIPO_FESTIVIDAD. Estas variables provienen de una base de datos externa que se adiciona a la base de análisis y abarca los días feriados en Colombia desde 2014 hasta 2022.

FESTIVIDAD: contiene dos etiquetas (SI/NO). SI: cuando hay festividad para ese día. NO: cuando no hay festividad para ese día,
TIPO_FESTIVIDAD: contiene seis tipos de festividad:
FESTIVO: día feriado.
NAVIDAD: 24,25 y 31 de diciembre.
SEM_SANTA: toda la semana santa, desde el lunes hasta el domingo.
BRUJAS: 31 de octubre.
MADRES: el día de madres designado para el año respectivo.
NUEVO: primero de enero de cada año.

Luego de realizar todo el pre procesamiento a la base de datos, podemos observar mediante la siguiente tabla cual fue el resultado final.

En la grafica de accidentes por tipo de festividad podemos ver que el mayor numero de accidentes que se presentan es la semana santa, pero esto dado que en esta categoría están incluidos los 7 días de la semana, el cual, si los dividimos en una proporción igual nos como resultado un promedio de 434 accidentes por día, por lo que están dentro de los índices de los otros tipos de festividad. Además, en la gráfica de accidentes por día feriado, vemos que los accidentes ocurridos en estas fechas representan el 4.27% de el total de los accidentes registrados en el periodo de 2014 a 2020.

Además de verificar los accidentes por tipo de festividad, también haremos revisión de la distribución de los datos respecto a si el día del accidente era o no festivo.

Empezaremos por buscar el mejor modelo para realizar las predicciones diarias.

Como nos interesa predecir el número de accidentes por unidad de tiempo, resulta conveniente utilizar un modelo lineal generalizado con la distribución Poisson. Para este primer modelo, consideraremos únicamente las variables FESTIVIDAD Y DIA_SEMANA para predecir la accidentalidad.

Para los datos de entrenamiento, se obtiene un MAE de 14.5091352, y un R2 de 0.4857459.

Para los datos de validación del año 2019, se obtiene un MAE de 17.4383562, y un R2 de 0.4336946.

La variación entre el MAE de entrenamiento y validación es de 20.1888047%, lo cual indica un posible sobre entrenamiento. Además, el R2 es relativamente bajo, cercano al 50%. Veamos que pasa para el año 2020.

Para los datos de validación del año 2020, se obtiene un MAE de 47.4221311, y un R2 de -1.1727893. Este MAE tan alto y este R2 negativo indican que el modelo se ajusta muy pobremente a los datos del año 2020.

Sin embargo, tal como veremos a continuación, ningún modelo se ajusta bien al año 2020. Esto se puede explicar por dos posibles razones:

1. En 2020 fue el inicio de la pandemia, y hubo muchos menos accidentes.
2. En 2020 solo hay observaciones hasta el mes de agosto.

Por tanto, el año 2020 no nos será muy útil para validar los modelos, ya que el comportamiento de este año es muy diferente a los demás años con los que se entrenó el modelo.

La variación entre el MAE de entrenamiento y validación es de 226.8432645%.

En el segundo modelo, utilizaremos las mismas variables del modelo inicial, y sumaremos la variable CLASE. Veamos su desempeño.

Para los datos de entrenamiento, se obtiene un MAE de 4.737437, y un R2 de 0.9334579.

Para los datos de validación del año 2019, se obtiene un MAE de 5.046652, y un R2 de 0.9260816. Estos valores son mucho mejores que los obtenidos con el modelo anterior.

La variación entre el MAE de entrenamiento y validación es de 6.5270524%; según esta cifra, no hay indicios de sobre entrenamiento. El R2 fue muy bueno tanto en entrenamiento como en validación, superior al 90%. Este modelo es un muy buen candidato para ser utilizado en las predicciones futuras.

Para los datos de validación del año 2020, se obtiene un MAE de 10.4839798, y un R2 de 0.1170215. El modelo se ajusta ligeramente mejor a los datos de 2020 respecto al caso anterior, pero sigue siendo muy inadecuado para predecir la accidentalidad de este año. Tal como se explicó anteriormente, no es adecuado validar el modelo con estos datos.

La variación entre el MAE de entrenamiento y validación es de 121.3006673%.

El modelo 2 tuvo un muy buen desempeño. Aun así, sería interesante probar modelos utilizando otras variables. Para este caso usaremos las variables Festividad, Día Semana y Diseño.

Para los datos de entrenamiento, se obtiene un MAE de 5.1873754, y un R2 de 0.9128454.

Para los datos de validación del año 2019, se obtiene un MAE de 5.7069632, y un R2 de 0.8573946.

La variación entre el MAE de entrenamiento y validación fue de 10.0163916%; según esta cifra, no hay indicios de sobre entrenamiento. El R2 fue bastante bueno tanto en entrenamiento como en validación, cercano al 90%, pero inferior al del modelo 2. Además, el MAE también fue superior que el del modelo 2. Por tanto, descartamos este modelo.

Para los datos de validación del año 2020, se obtiene un MAE de 11.7810858, y un R2 de -0.2365198.

La variación entre el MAE de entrenamiento y validación es de 127.1107231%.

Ahora, probaremos un nuevo modelo, tomando las mismas variables del modelo inicial, pero añadiendo la variable COMUNA.

Para los datos de entrenamiento, se obtiene un MAE de 2.1413013, y un R2 de 0.7718301.

Para los datos de validación del año 2019, se obtiene un MAE de 2.2067813, y un R2 de 0.7650363.

La variación entre el MAE de entrenamiento y validación fue de 3.0579549%; esta es la variación más baja obtenida hasta el momento, y nos da una buena señal de que no hay sobre entrenamiento. También, a pesar de que los R2 son ligeramente inferiores respecto a los modelos 2 y 3, pues son cercanos al 80%, el MAE fue mucho más bajo que en los anteriores modelos, y, teniendo en cuenta que el MAE es nuestro criterio de éxito, podemos decir que este modelo también es un buen candidato para realizar nuestras predicciones.

Para los datos de validación del año 2020, se obtiene un MAE de 3.2865094, y un R2 de -0.0518735.

La variación entre el MAE de entrenamiento y validación es de 53.4818795%.

Finalmente, probaremos un último modelo, usando aquellas variables que tuvieron el mejor MAE en los modelos anteriores, es decir, CLASE y COMUNA. Se incluirán también las variables del modelo inicial.

Para los datos de entrenamiento, se obtiene un MAE de 1.1695326, y un R2 de 0.7114642.

Para los datos de validación del año 2019, se obtiene un MAE de 1.1614232, y un R2 de 0.7113108.

La variación entre el MAE de entrenamiento y validación fue mínima, de tan solo -0.6933947%; este dato nos ayuda a estar muy seguros de que no hay sobre entrenamiento. Con este modelo también conseguimos el MAE más pequeño de todos, cercano a 1, y el R2 cuadrado sigue siendo bueno, superior al 70%. Por tanto, concluimos que este es el mejor modelo para predecir, según nuestro criterio de éxito.

Para los datos de validación del año 2020, se obtiene un MAE de 1.3614289, y un R2 de 0.2704429.

La variación entre el MAE de entrenamiento y validación fue de 16.4079461%.

Una vez tenemos determinado el mejor modelo (5) para las predicciones diarias, podemos pasar a evaluarlo semanalmente para validar su eficiencia en plazos semanales.

Veamos cómo se comporta este modelo para predecir la accidentalidad semanalmente. En este caso, las variables a utilizar serán FESTIVIDAD, SEMANA, CLASE y COMUNA.

Para los datos de entrenamiento, se obtiene un MAE de 1.2108695, y un R2 de 0.6710634.

Para los datos de validación del año 2019, se obtiene un MAE de 1.1970699, y un R2 de 0.6733088.

La variación entre el MAE de entrenamiento y validación fue muy pequeña, de tan solo -1.1396402%; este dato nos ayuda a estar muy seguros de que no hay sobre entrenamiento. Con este modelo también conseguimos un MAE muy pequeño, cercano a 1.2, y el R2 cuadrado no disminuyó demasiado, pues sigue estando cerca del 70%. Por tanto, concluimos que este modelo sigue siendo adecuado para realizar predicciones a nivel semanal, según nuestro criterio de éxito.

Para los datos de validación del año 2020, se obtiene un MAE de 1.3628274, y un R2 de 0.2428963.

La variación entre el MAE de entrenamiento y validación fue de 12.5494828%.

Finalmente, evaluaremos el modelo 5 de manera mensual, para validar su eficacia en este caso.

Veamos cómo se comporta este modelo para predecir la accidentalidad mensualmente. Las variables a usar son FESTIVIDAD, MES, CLASE y COMUNA.

Para los datos de entrenamiento, se obtiene un MAE de 1.2105415, y un R2 de 0.6717679.

Para los datos de validación del año 2019, se obtiene un MAE de 1.1957197, y un R2 de 0.6743843.

La variación entre el MAE de entrenamiento y validación fue muy pequeña, de tan solo -1.2243936%; este dato nos ayuda a estar muy seguros de que no hay sobre entrenamiento. Con este modelo también conseguimos un MAE muy pequeño, cercano a 1.2, y el R2 cuadrado no disminuyó demasiado, pues sigue estando cerca del 70%. Por tanto, concluimos que este modelo sigue siendo adecuado para realizar predicciones a nivel semanal, según nuestro criterio de éxito.

Para los datos de validación del año 2020, se obtiene un MAE de 1.3616832, y un R2 de 0.2436428.

La variación entre el MAE de entrenamiento y validación fue de 12.4854635%.

En la siguiente gráfica se muestra la cantidad de accidentes ocurridos a lo largo del año 2019.

Para el año 2019 la cantidad de accidentes predichos por el modelo se asemeja a la cantidad de accidentes reales ocurridos en el mismo año. Se puede observar que los accidentes predichos por el modelo tienen un patrón de comportamiento similar a los datos reales pasado el mes 4. A pesar de que anterior al mes 4 existen diferencias considerables, la similitud general de ambos nos lleva a concluir que el modelo hace predicciones en un rango aceptable.

En la siguiente gráfica se muestra la cantidad de accidentes ocurridos a lo largo del año 2020.

Se puede observar que el modelo de predicción logra replicar el comportamiento de accidentes para el año 2022 al menos en estructura (subidas, bajadas, picos y caídas). Aun así, existe una diferencia importante entre la cantidad de accidentes reales y predichos a partir del mes número 2 (febrero). La principal razón a la que se le podría atribuir esta diferencia es la pandemia del COVID-19, que inició a finales del año 2019 y tuvo apogeo en 2020, ocasionando confinamientos y limitando gravemente la movilidad y transporte. Se cree que por esta razón hay una gran diferencia en la cantidad de accidentes, pero no en el comportamiento a lo largo del año.

A continuación, se muestra una tabla con las primeras 10 observaciones de las predicciones diarias obtenidas para el año 2021.

Se presenta también la tabla referente a las primeras 10 observaciones de las predicciones diarias obtenidas para el año 2022.

A continuación, se muestra una tabla con las primeras 10 observaciones de las predicciones semanales obtenidas para el año 2021.

Se presenta también la tabla referente a las primeras 10 observaciones de las predicciones semanales obtenidas para el año 2022.

A continuación, se muestra una tabla con las primeras 10 observaciones de las predicciones mensuales obtenidas para el año 2021.

Se presenta también la tabla referente a las primeras 10 observaciones de las predicciones mensuales obtenidas para el año 2022.

Primero antes de comenzar con el clustering, propiamente primero se creará un mapa de calor de la accidentalidad dentro tanto de las comunas como en los barrios para representar de manera cruda, como se distribuye la accidentalidad de manera general.

A continuación, se muestra el mapa de calor de accidentalidad entre los años 2014 y 2020.

Al hacer la transformación entre la base geográfica y la base depurada se perdieron algunos barrios ya que el archivo de la base de accidentalidad no cuenta registros de accidente en todos los barrios, asi quedo el mapa de calor con el número de accidentes por Barrio.

Creamos una base de datos que nos diga el número de accidentes por gravedad, asi mismo nos indica la lógica en la cual R toma el orden de los accidentes, siendo con heridos, con muertos y Solo danos. Esto será útil para la construcción correcta de la matriz para el agrupamiento.

Creamos una base de datos con la gravedad de los accidentes para ser usada para el agrupamiento

Para encontrar un k optimo se usarán la curva del codo, estadístico de Gap y el coeficiente de la silueta.

Como podemos ver en la curva del codo nos indica un k ideal con valor de 3 o 4

Con el método del coeficiente de la silueta nos muestra que un k ideal tiende a ser 2 ya que es el valor k con el puntaje del coeficiente de silueta más alto.

El estadístico de gap nos muestra que el primer cambio de signo ocurre en k=1.

Al analizar diferentes k se decide escoger un k prudente de k=4, el cual concordaría con el método de la curva del codo.

Con la función summary clasificamos los grupos

El grupo 1 cuenta con una accidentalidad mayor al grupo 2 pero menor al grupo 3, por ende, se considera accidentalidad media-baja

El grupo 2 cuenta con la menor accidentalidad de todos los grupos

El grupo 3 cuenta con una accidentalidad parecida al grupo 4, por ende, se considera accidentalidad media-alta.

El grupo 4 cuenta con la mayor tasa de accidentalidad en todos los grupos

Al igual que con el mapa de calor los grupos que sean más rojos es donde tiende el grupo de mayor accidentalidad

Creamos una base de datos que nos diga el número de accidentes por tipo , asi mismo nos indica la lógica en la cual R toma el orden de los accidentes, siendo Atropello, caída de Ocupante, Choque, Incendio, Otro y Volcamiento; esto será útil para la construcción correcta de la matriz para el agrupamiento.

Ahora hacemos un agrupamiento por el tipo de accidente ocurrido, creamos la base de datos para aplicar los métodos de agrupamiento y métodos para hallar un k optimo.

Para encontrar un k optimo se usarán los métodos de la curva del codo, Estadístico de Gap y el coeficiente de la silueta.

Como podemos ver en la curva del codo un k ideal puede ser un valor de 3 o 4.

Con el método del coeficiente de la silueta vimos que un k ideal tiende a ser 2 ya que es el valor de k donde el puntaje del coeficiente de la silueta es más alto.

El estadístico de gap nos muestra que el primer cambio de signo ocurre en k=5.

Al analizar diferentes k al igual que en el agrupamiento pasado consideramos mejor escoger un k=4 , gracias al metodo de la curva del codo.

Con la funcion summary clasificamos los grupos

el grupo 1 cuenta con accidentalidad moderada en todos sus tipos de accidentes.

EL grupo 2 es el grupo con menor accidentalidad en general.

El grupo 3 cuenta con la mayor cantidad de accidentes de tipo de incendio y caída de ocupante.

El grupo 4 cuenta la mayor cantidad de accidentes de clase choque, atropello, otro y volcamiento.

Al igual que con el mapa de calor los grupos que sean más rojos es donde tiende el grupo de mayor accidentalidad.